AI Papers Daily

#Sliding Window Attention

3 篇

RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models

RangeSWA：连续扩散语言模型的免训练长度外推

🧭 连续扩散语言模型 · 长度外推

Clemson University · University of Ottawa · PayPal · actA V A AI

提出训练无关的 RangeSWA，通过滑动窗口+远程块摘要+动态检索缓解连续扩散语言模型长文本生成的重复与漂移

📌 工作参考价值（4 点）

• 长序列生成（如商品详情文案、营销邮件、多轮对话 Agent 的长期记忆）可借鉴“局部窗口 + 远程块摘要 + 检索”的混合注意力策略：不重新训练，只改推理时 attention mask 和 token 组织，减少长输出的重复和跑题。
• 位置重映射与条件注意力校正的思路可迁移到已有 LLM/扩散推荐模型做长度外推：将训练时位置范围线性/非线性映射到更长范围，同时对 conditioning 的注意力权重做校正，避免因训练分布偏移导致的崩溃。
• 去噪阶段自适应窗口调度值得在扩散式生成推荐（如连续扩散生成 item embedding 或描述）中尝试：前期大窗口保持全局一致性，后期缩小窗口强化局部细节，可平衡多样性与准确性。
• 但连续扩散语言模型本身在电商/广告场景尚未成为主流，落地需先评估该范式与自回归模型相比在成本、延迟上的优势；该方法主要为学术贡献，工程迁移门槛较高。

Training | 2026-10-30 | cs.CL | score 7/10

Continuous Diffusion ModelsLength ExtrapolationSliding Window AttentionTraining-FreeLong Text Generation

Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers

Orthros：相位感知异构注意力，高效 Transformer

🧭 高效 Transformer 注意力架构 ★ 深度解读

The Hong Kong Polytechnic University · University of Chinese Academy of Sciences · Independent Researcher · University of Sydney

Orthros 注意力按预填充/解码相位解耦：线性复杂度预填充加全注意力解码，长上下文召回近无损并大幅加速推理

📌 工作参考价值（4 点）

• 对于推荐/搜索/Agent 中长 prompt、短输出的场景（如基于大段用户行为序列生成推荐理由、商品描述改写），这类相位解耦注意力可将 TTFT 降低数倍，适合在线低延迟要求；若输出很短，收益尤其明显。
• 现有 LLM（如 Qwen3、Llama3.1）可通过 80B token 级继续训练转换为 Orthros 结构，且性能不降，业务方可在已有模型上低成本验证和部署；转换时注意保留窗口大小 128 的设置。
• 双流设计（滑动窗口 + 全注意力）通过复制输出 token 实现全局召回，可复用到需要长上下文记忆的对话式推荐、个性化解释生成等任务，避免线性注意力带来的召回损失。
• 工程落地需注意：当前实现基于 FLA/SGLang，解码时额外 token 会增加 FLOPs，但在 I/O bound 解码阶段可被掩盖；若使用 MoE 或需要 KV cache 压缩，需要定制路由和缓存策略。

LLM | 2026-10-09 | cs.AI | score 8/10

Efficient AttentionSliding Window AttentionLong ContextInference AccelerationTransformer Architecture

Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

长上下文混合模型机理 1.1：从混合注意力到混合位置

🧭 混合注意力 · 长度外推与上下文扩展 ★ 深度解读

Fudan University · Shanghai Innovation Institute · OpenMOSS Team

揭示 NoPE 与位置偏置注意力的协作机理，提出滑动窗口线性注意力实现 16 倍免训练长度外推

📌 工作参考价值（4 点）

• 在电商/推荐场景建模超长用户行为序列时，可采用「NoPE full attention + 滑动窗口/线性注意力」混合架构替代全注意力，降低长序列推理的 KV cache 与计算成本；NoPE 使用 log-scale attention scaling 可免训练外推到训练长度之外。
• 若业务模型需长上下文继续预训练，避免 SWA 混合的短上下文陷阱：滑动窗口不要保持 128，建议扩到 2048 并加入 LongCE 损失；若用 LA 混合，优先利用其训练长度内的拟合优势，OOD 外推需额外设计。
• 在排序/召回模型中引入无位置 attention 头做全局检索时，可参考 3:1 混合比；通过 attention entropy 与 top-k hit rate 分析头功能，避免盲目增加 NoPE 比例导致噪声上升。
• 评估长上下文检索能力时，除下游指标外可加入 RULER/BABILong 与 attention entropy 分析，快速定位长程依赖失效是架构问题还是训练问题。

Training | 2026-10-06 | HF Daily | score 8/10

Hybrid AttentionLength ExtrapolationNoPESliding Window AttentionLinear AttentionLong-Context LLM